Nel 1217 il castello fu dato in feudo dal papa Innocenzo III al conte Azzo Azzolino d'Este dal quale mutuò il nome di Crypta Azzolina o Grottazzolina. La città di Fermo, a cui Grottazzolina rimase sempre fedele.